再谈线性回归函数分析，从概率论与数理统计角度看线性回归参数估计

随机变量的分布函数（或概率函数，或密度函数）已经非常全面了，精确地描述了这个随机变量取值的统计规律性，那为什么我们还需要研究随机变量的数字特征呢？这个小节我们来讨论一下这个话题。

在很多实际问题中（特别是一些具体的非物理的问题域），从实际问题场景中采样得到的样本集，一般时候都不会100%符合一个经典概率分布（例如泊松分布、高斯分布等）。

例如下图中，黑点表示我们目前已知的样本点分布，蓝色曲线表示某个非线性函数公式，刚好能够完美拟合这个样本集：

虽然上图表面看好像已经拟合成功了，但是理论上来说，我们是无法写出准确的概率分布函数的，主要原因有以下几个方面： 

采样不充分问题：一方面是由于采样不充分，根据随机过程抽样或者蒙特卡洛抽样得到的样本点很可能只是真实概率概率分布样本空间的一个有限不均衡子集。采样不充分是非常常见的，最极端的例子就是天文学和宇宙学，例如2019年很著名的黑洞照片，其实是科学家们基于非常少的光子，通过数学建模的方式而“还原模拟”出来的。关于大数定理的其他讨论，可以参阅另一篇文章。

除了精确描述抽象事物的概率分布困难之外，在一些时候，我们有时候可能也并不需要去求出随机变量的准确概率分布。相反，我们关心只是随机变量的取值在某些方面的统计数字特征，而不是它的全貌。典型的例子如：

这类特征往往通过若干个实数来反映，在概率论中称它们为随机变量（或该随机变量所服从的相应分布）的数字特征。

随机变量的数字特征有很多，这里列举一些理论分析和工程应用中常用的数字特征：

我们在这篇文章中选择一些在数据分析和网络安全数学建模常用的数字特征进行讨论，这也是笔者比较关注的领域，关于其他部分的详细讨论，建议读者朋友阅读原书。

Relevant Link: 

设离散型随机变量 X 的概率函数为：

当级数收敛时，称的值为随机变量 X 的数学期望（简称为期望或均值），记作E(X)，即：

由于随机变量的分布刻画了随机变量取值的统计规律性，因此，当 X 服从某个分布时，我们也称E(X)是这个分布的期望。 

如果随机变量满足等该模型，则期望公式就退化成了我们熟悉的“求平均数”公式。

设连续型随机变量 X 的密度函数为f(x)，当积分收敛时，称的值为随机变量 X 的数学期望（简称期望或均值），记作：

数学期望的性质如下：

当X~B(n，p)时，X的概率函数为

因此，根据期望的数学计算公式得：

当X~P(λ)时，X的概率函数为

因此有：

当X~U(a，b)时，X的期望为：

当X~E(λ)时，X的期望为：

当X~N(μ，σ)时，X的期望为：

总体地概括来说，期望E(X)的直观含义是：期望反映了随机变量 X 的平均取值，具体对于不同的概率分布来说，平均取值的具体含义和代指会有所变化和不同。 

二项分布的期望值E(X)=np，其意义表示随机变量X的平均值，或平均水平。

在具体问题中，例如金融组合分组，如果对投资结果进行数学建模，则期望代表投资结果的平均值。

泊松分布的期望值是λ，其意义表示某个时间段内，随机事件发生的平均次数。

均匀分布的期望值是样本值域区间的中位数，中心点。

指数分布的期望是1/λ，其意义表示某个时间段，随机事件发生的平均时间间隔。它和泊松分布正好互为倒数。

数学期望刻画随机变量取值的平均数，有直观含义，同时它也有物理含义。

若在数轴上放置一单位质量的细棒，在离散点 xi 处分布着质点其质量为 mi，则表示该细棒的重心坐标。

若在数轴上放置一单位质量的细棒，它又质量密度函数f(x)，则表示该细棒的重心坐标。如下图所示：

设X是一个随机变量，称

为X的方差，称为X的标准差（或标准偏差）

在工程技术中广泛地使用标准差，因为它与随机变量本身有相同的量纲（具有实际物理意义）。但是在理论推导中，使用方差较方便。

值得注意的是，方差本质上是随机变量函数的期望，即随机变量和均值离差的期望，所以有：

当n=1时，画出其函数图：

可以看到，当正反事件概率相同，即等概的时候，方差达到最大值。这也是概率分布的最大熵原理。

随着试验次数n的增加，整体方差也线性增大。

可见对于伯努利实验结果来说，实验次数增加，期望和方差都是不收敛的，会无限增大。

当X ~ P(λ)时，E(X) = λ，，因此， 泊松分布的方差为

泊松分布的期望和方差是相等的，都等于λ。

当X~R(a，b)时，E(X) = 1/2 * (a + b )，所以有

因此，均匀分布的方差为

当X~E(λ)时，，因此，指数分布的方差为 

值得注意的是，方差和标准差并不是唯一的用来度量的数据分布波动程度的数字特征，数学上极差也可以发挥类似的作用，除此之外，组合型数字特征也是数据分析中常用的统计量。

Relevant Link: 

已知X是任意的随机变量，当E(X)和D(X)存在时，对随机变量X作变换：

这个变换称之为随机变量中心化。

由期望与方差的性质推得：

即中心化后的随机变量，期望为0，方差不变。

当D(X)>0时，对随机变量X作变换：

这个变换称之为随机变量标准化。

由期望与方差的性质推得：

需要注意的是，本章讨论的随机变量中心化和标准化，属于特征工程里特征归一化的处理方法之一，除此之外还有其他的特征归一化处理方法，关于这部分的讨论，可以参阅另一篇文章。

Relevant Link: 

单个随机变量的数学特性固然非常有用，但是在理论分析和工程实践中，遇到最多的还是两个及多个随机变量之间的互相关系。这节我们来讨论两个随机变量之间的相互关系，多个随机变量之间的关系是类似的，可以以此类推。

设(X，Y)是一个随机变量，称

为随机变量X和Y的协方差。

按照方差的定义，cov(X，X)= D(X)。协方差本质上是二维随机变量函数g(X，Y) = [X - E(X)][Y - E(Y)]的期望，即两个随机变量方差之间的关系。

计算时常用下列公式:

协方差反映了X和Y之间的协同变化关系，具体为：

设Z = [X - E(E)] [Y - E(Y)]，cov(X，Y) = E(Z)，则

特别的，当Y= X时，cov(X，Y) = cov(X，X) = D(X)，协方差退化为方差。

利用协方差，可以把两个随机变量方差公式表达成：

协方差考察了随机变量之间协同变化的关系，但是在实际使用中存在一个问题，即量纲不一致问题。例如，如果要讨论新生婴儿的身高X和体重Y的协方差，若采用两个不同的单位，“米和千克”或者“厘米和克”，后者协方差可能会是前者的数千倍！由于量纲的不同导致X与Y的协方差前后不同。

实际上，回顾文章前面中心化和标准化的知识可知，协方差实际上是把X，Y分别中心化后的，它的值受X与Y量纲大小的影响。为了解决量纲不一致的问题，就有了相关系数。

设(X，Y)是一个二维随机变量，当D(X) > 0，D(Y) > 0时，称为X与Y的相关系数，记作ρ(X，Y)，即

这就是随机变量X和Y的相关系数，又称为标准化协方差。

利用相关系数，可以把方差的公式表达成

设(X，Y)是一个二维随机变量，当ρXY = 0时，下列命题等价：

设(X，Y)是一个二维随机变量，当D(X) > 0，D(Y) > 0时，相关系数有如下性质：

随机变量相互独立和线性无关都刻画了随机变量之间的关系，相互独立时一定线性无关，但反之不一定成立，如下图：

举例说明，设随机变量Z服从区间[0，2π]上的均匀分布，令 X = sinZ，Y = cosZ

根据边缘概率分布公式得：

根据方差公式有：

，同理有

根据期望公式有：

根据协方差公式有：

所以随机变量X和Y不相关。

但是因为，所以f(X，Y) != f(X) * f(Y)，所以X与Y不相互独立。

可见，相互独立是一种比不相关更强的关系。可以这样说：

对于二维随机变量(X，Y)，称向量

为(X，Y)的期望向量（或均值向量），称矩阵 

为(X，Y)的协方差矩阵，由于cov(X，X) = D(X)，因此，n维随机向量(X1，... ，Xn)的协方差矩阵为 

Relevant Link: 

有一个公司，每月的广告费用和销售额，如下表所示：

我们把广告费和销售额画在二维坐标内，就能够得到一个散点图，利用一元线性回归做出一条拟合直线，y = ax + b。

使用最小二乘法进行参数估计，就可以求出a和b了。

最终的回归拟合直线为：Y=1.98X+2.25。

从概率分布的角度来看线性回归模型的参数估计过程。我们设样本点对应的随机变量为X，参数对应的随机变量为Y。

从上图可以得到：ρ(X，Y) != 1

所以X和Y不满足完全线性相关的关系，也即：不存在不为零的常数k与常数c，使得P(Y = kX + c) = 1

从线性方程组求解的角度来看，直接基于原始输入样本点求解线性方程组就是无解的。

所以，线性方程组引入了”显著性检验“这个度量方法，用来评估参数估计的结果和目标样本点的拟合程度，常用的显著性检验方法包括：

这里我们以R2为例进行说明，在R2中，量化度量拟合程度的公式如下

R2显著性由两个不同的误差损失，SSR和SSE比例相除得到。

SSE和SSR共同组成了SST（总残差损失），我们分别介绍

残差平方和（SSE，Sum of Squaresfor Error）：因变量的各实际观测值(给定点的Y值)与回归值（回归直线上的Y值）的差的平方和，它是除了x对y的线性影响之外的其他因素对y变化的作用，是不能由回归直线来解释的

R^2的取值在[0，1]之间，越接近1说明拟合程度越好。

现在回到随机变量协方差的视角，重写上述SSR和SSE公式，会发现：

所以总R2显著性公式本质上度量了参数随机变量X和样本随机变量Y之间的协同关系，即协方差。协方差越接近1，拟合程度就越高。

上个小节我们用了一个具体的例子来说明了线性回归中参数估计拟合程度和随机变量中相关系数的等价关系。这个小节我们将这个结果泛化为一般性的结论。

回归系数b是有单位的，但若对b作消去单位的标准化处理，即对b中x，y的离均差以各自的标准差  和 为单位： 

故有时将相关系数称为标准回归系数

则

可改写为：

笔者这里用随机变量相关性分析的视角来讨论回归分析，并不是说相关分析和回归分析是同一个东西。

相关分析与回归分析在实际应用中有密切关系。然而它们存在着不同：

例如，以X、Y分别记小学生的数学与语文成绩，感兴趣的是二者的关系如何，而不在于由X去预测Y

Relevant Link: 

回归模型的参数最优化的目标是得到一个最优的判别式模型，而模型参数概率密度估计的目标是得到一个生成式概率模型。

简单来说，他们之间的联系是：通过损失函数最优化技巧得到的模型参数，等价于求E(X - Yobj)，即参数随机变量和样本点的差值函数的期望均值。

关于这方面的讨论，可以参阅另一篇文章。 

如果将回归模型的参数空间看作是是一个概率分布的话，损失函数求解的目标就是寻找和样本随机变量相关度最高的参数随机变量分布。除了相关性度量之外，还可以从信息论KL散度角度来度量参数估计结果和样本分布的拟合程度。

从数学上说，我们可以把Kullback-Leibler散度看做两个分布p(x)和q(x)之间不相似程度的度量。

在数据压缩和密度估计（即对未知概率分布建模）之间有一种隐含的关系，因为当我们知道真实的概率分布之后，我们可以给出最有效的压缩。如果我们使用了不同于真实分布的概率分布，那么我们一定会损失编码效率，并且在传输时增加的平均额外信息量至少等于两个分布之间的Kullback-Leibler散度。

假设数据通过未知分布p(x)生成，我们想要对p(x)建模。我们可以试着使用一些参数分布q(x | θ)来近似这个分布。

q(x | θ)由可调节的参数θ控制（例如一个多元高斯分布）。一种确定θ的方式是最小化 p(x) 和 q(x | θ) 之间关于θ的Kullback-Leibler散度。

但是我们不能直接这么做，因为我们不知道未知分布p(x)。

但是，我们可以通过数据驱动的方式来近似达到这个目的，假设我们已经观察到了服从分布p(x)的有限数量的训练点xn，其中n = 1, . . . , N 。那么，关于p(x)的期望就可以通过这些点的有限加和，使用公式

来近似，即：

可以看到，上式右侧的第二项与θ无关，第一项是使用训练集估计的分布q(x | θ)下的θ的负对数似然函数。因此我们看到，最小化Kullback-Leibler散度等价于最大化似然函数。

关于KL散度相关话题的一些讨论可以参阅这篇文章。关于信息论和熵原理的更多讨论，笔者会在之后的迭代中继续完善这篇文章。